AIGC Stable Diffusion文生图Lora模型微调实现虚拟上装

AIGC是指通过人工智能技术自动生成内容的生产方式,其中,文生图(Text-to-image Generation)任务是流行的跨模态生成任务,旨在生成与给定文本对应的图像。本文实现的主要功能是在阿里云DSW中,通过对AIGC Stable Diffusion文生图Lora模型进行模型微调,并启动WebUI进行模型推理实现虚拟上装。

背景信息

WebUI文生图推理效果如图所示。image.png

前提条件

  • 已创建工作空间,详情请参见创建工作空间

  • 已创建DSW实例,其中关键参数配置如下。具体操作,请参见创建及管理DSW实例

    • 实例规格选择:ecs.gn6v-c8g1.2xlarge。

    • 选择镜像

      地域

      镜像地址

      华东1(杭州)

      官方镜像页签,选择stable-diffusion-webui-develop:1.0.0-pytorch2.01-gpu-py310-cu117-ubuntu22.04。

      华北2(北京)

      华东2(上海)

      华南1(深圳)

步骤一:在DSW中打开教程文件

  1. 进入PAI-DSW开发环境。

    1. 登录PAI控制台

    2. 在页面左上方,选择DSW实例所在的地域。

    3. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击默认工作空间名称,进入对应工作空间内。

    4. 在左侧导航栏,选择模型开发与训练>交互式建模(DSW)

    5. 单击需要打开的实例操作列下的打开,进入PAI-DSW实例开发环境。

  2. Notebook页签的Launcher页面,单击快速开始区域Tool下的DSW Gallery,打开DSW Gallery页面。image.png

  3. DSW Gallery页面中,搜索并找到AIGC Stable diffusion文生图Lora模型微调实现虚拟上装教程,单击教程卡片中的DSW中打开

    单击后即会自动将本教程所需的资源和教程文件下载至DSW实例中,并在下载完成后自动打开教程文件。a893178686cee3f6c2a0fb84365f77e8.png

步骤二:运行教程文件

  1. 在打开的教程文件stable_diffusion_try_on.ipynb文件中,您可以直接看到教程文本,您可以在教程文件中直接运行教程。本教程一共3个运行步骤:

    1. 安装Diffusers。

    2. 微调Stable Diffusion Lora模型。

    3. DSW中启动WebUI。

    在教程文件中直接运行对应的步骤的命令时,当成功运行结束一个步骤命令后,再顺次运行下个步骤的命令。2cfb70f63a81592182214486274c5863.png

  2. 当第4启动WebUI运行完成后,在返回的运行详情结果中单击URL链接(http://127.0.0.1:7860),进入WebUI页面。后续您可以在该页面进行模型推理。

    说明

    由于http://127.0.0.1:7860为内网访问地址,仅支持在当前的DSW实例内部通过单击链接来访问WebUI页面,不支持通过外部浏览器直接访问。

步骤三:推理结果验证

完成以上操作后,您已经成功完成了AIGC文生图模型微调训练及WebUI部署。您可以在WebUI页面,进行模型推理验证。

文生图页签配置以下参数:

  • Promptcloth1,<lora:koreanDollLikeness_v10:0.4>, (extremely detailed CG unity 8k wallpaper),(RAW photo, best quality), (realistic, photo-realistic:1.2), a close up portrait photo, 1girl, shopping mall rooftop cafe, outdoor, smile, (high detailed skin:1.4), puffy eyes, gorgeous hair, air bangs, brown black hair, soft lighting, high quality,<lora:cloth_lora_weights:1>

  • Negative promptng_deepnegative_v1_75t,paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), (grayscale:1.2), skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,(watermark:1.2),(letters:1.2),(nsfw:1.2),teeth

  • 采样方法(Sampler): Euler a

  • 采样迭代步数(Steps): 50

  • 宽度高度: 640,768

  • 随机种子(seed): 1400244389

  • 提示词相关性(CFG Scale):7

  • 选中面部修复复选框

单击生成,输出如图推理结果。image.png